Tư Mã Sư người huyện Ôn, quận Hà Nội (nay là huyện Ôn, tỉnh Hà Nam), là con trai cả của Tư Mã Ý, một nhà chiến lược quân sự và chính trị nước Tào Ngụy thời Tam Quốc, cháu nội Kinh Triệu doãn Tư Mã Phòng thời Đông Hán. Xuất thân là con đại thần nhà Ngụy, Tư Mã Sư nhanh chóng bước vào quan trường khá thuận lợi. Khi cha cầm quyền, ông giữ chức Trung hộ quân, rồi thăng lên Phủ quân đại tướng quân.

Năm 249, Tư Mã Sư tham gia Sự biến Cao Bình Lăng, được phong tước Trường Bình Hương hầu (長平鄉侯), kiêm thăng chức vụ Vệ tướng quân.

Cuối năm 251, Tư Mã Ý qua đời, sang đầu năm sau (252) ông lên thẳng chức Đại tướng quân, gia thêm chức Thị trung, được ban cờ tiết, Đô đốc trung ngoại chư quân sự, Lục thượng thư sự[1].

Tháng 3 năm 253, tướng Đông Ngô là Gia Cát Khác khởi 20 vạn quân đi đánh Ngụy[2]. Tư Mã Sư sai Thái phó Tư Mã Phu tới thống suất các tướng Trấn đông tướng quân Vô Khâu Kiệm và Thứ sử Dương châu là Văn Khâm mang quân kháng cự. Sau một thời gian quân Ngô vây hãm Tân Thành không thể hạ được, Vô Khâu Kiệm và Văn Khâm biết tình hình quân Ngô bệnh dịch bèn phát lệnh tấn công. Quân Ngô thua trận, Gia Cát Khác buộc phải rút quân, trên đường về trúng mai phục của Văn Khâm ở Hợp Du, bị thiệt hại nặng[1].